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Розпізнавання та смислова інтерпретація 
злитого українського мовлення для усного 
фразника-перекладача в умовах 
альтернативних граматик 


У статті розглядаються проблеми створення систем смислової інтерпретації мовленнєвого сигналу в 
межах предметних областей. Описуються базові структури, за якими генеруються еквівалентні речення, 
що передають певний смисл. Розглядаються три способи побудови породжувальних граматик для 
розпізнавання злитого українського мовлення: на основі ЦІЗР-структур, вільний порядок слідування 
слів та граматика, заснована на лінгвістичному понятті про фонетичне слово. Запропоновано імовірнісний 
спосіб формування відповіді смислової інтерпретації. Наводяться результати експериментальних 
досліджень смислової інтерпретації вимовлених диктором речень, взятих із тематичної області 
фразника-перекладача. 


Вступ 


Актуальною є проблема підвищення надійності розпізнавання та розуміння 
мовленнєвих сигналів. Один із можливих шляхів досягнення цієї мети полягає в еко- 
номному заданні різноманітних обмежень, зокрема синтаксичних та семантичних, на 
допустимі послідовності слів у фразах та їх врахуванні при автоматичному розумінні 
та розпізнаванні мовленнєвих сигналів. 

Для чого це потрібно 1 де використовується? Для різних систем усного діалогу: 
фразника-перекладача, довідкових систем тощо. 

Для слов'янських мов розроблені автоматичні модулі, які забезпечують досить 
високу надійність розпізнавання, але при цьому вимагають значних обчислювальних 
ресурсів та фактично прив'язують користувача до одного варіанта висловлення певного 
смислу. Це пов'язано з тим, що слов'янські мови мають певні відмінності від, наприклад, 
англійської мови. Основними відмінностями є істотно більша кількість словоформ 
для кожного слова та відносно вільний порядок слідування слів у фразах. Врахуван- 
ня цих особливостей для слов'янських мов значною мірою ускладнює розв'язування 
задач розпізнавання та змістовної інтерпретації мовленнєвих сигналів. 

Окремою є проблема задання всіх можливих речень мови діалогу, що виражають 
один і той самий зміст, генерації та пошуку найбільш правдоподібних сигналів та 
розроблення обмежень на порядок слідування слів, які би враховували лінгвістичні 
знання. 

Для дослідження та специфікації обмежень на допустимі послідовності слів у 
фразах використовуються І1Л5Р-структури (11, (2|. На основі цих структур генерує- 
ться величезна кількість речень, що мають один і той самий зміст. Втім, існує ряд 
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обмежень використання цієї технології, пов'язаних як з суб'єктивним чинником при 
побудові ІІЗР-структур, так і зі збільшенням обчислень, викликаних значним 
ускладненням графа розпізнавання. 

У розділі 1 ми дамо загальну характеристику задач розпізнавання та смислової 
інтерпретації злитого мовлення, розділ 2 присвячено заданню (специфікації) речень з 
урахуванням обмежень на допустимі послідовності слів, у розділі 3 пропонується 
спосіб оцінювання належності послідовності слів до типу речень, у розділі 4 наводя- 
ться експериментальні результати. 


1. Загальна характеристика задач розпізнавання 
та інтерпретації злитого мовлення 


Розглянемо, в чому полягають і як взаємозв'язані задачі розпізнавання та інтер- 
претації злитого мовлення |1 |, |2|. Розпізнавання мови - це процес автоматичної 
обробки сигналу з метою визначення послідовності слів, які передаються цим сигналом. 

Змістовна інтерпретація мови -- це процес автоматичної обробки мовленнєвого 
сигналу з метою виявлення змісту, що передається сигналом, та представлення цього 
змісту в певній канонічній формі, зручній для подальшого використання. Очевидно, 
що змістовна інтерпретація мови є більш високим ступенем узагальнення інформації, 
ніж розпізнавання, оскільки одну 1 ту саму думку можна виразити різними послідовнос- 
тями слів. Для отримання кращих результатів розпізнавання та змістовної інтерпретації 
злитого мовлення ці задачі повинні виконуватися в єдиному взаємопов'язаному процесі. 
Кінцевою метою цього процесу є зміст повідомлення, який передається послідов- 
ністю слів. 

Оскільки кожну думку можна висловити різними реченнями в мові діалогу, але 
при цьому зміст не зміниться, то слід визначити певні обмеження на допустимі 
послідовності слідування слів у реченнях. Тому при інтерпретації змісту мови різні 
речення, що передають одну і ту саму думку, повинні відображатися в один і той же 
результат, тобто відповідь розпізнавання (послідовність слів) не повинна суперечити 
синтаксису, семантиці та прагматиці предметної області. Зважаючи на це, пропонується 
розглянути моделі розпізнавання мовленнєвих сигналів, які враховують синтаксис та 
семантику мови | 1 |, |21. 

Задача змістовної інтерпретації злитого мовлення значно складніша за задачу 
розпізнавання, оскільки для її розв'язання необхідно додатково враховувати апріорну 
інформацію. Тому перш за все слід навчитися економно задавати всі можливі допус- 
тимі речення в мові діалогу. Для вирішення цього питання є декілька шляхів. Один з 
них - побудова І5Р-подібних структур та визначення за їх допомогою обмежень на 
допустимі послідовності слів. 

Цей підхід до розпізнавання та змістовної інтерпретації злитого мовлення може 
бути реалізовано у вигляді генеративної моделі розуміння (змістовної інтерпретації) 
злитого мовлення (3. 

В рамках генеративної моделі інтерпретація злитого мовлення повинна вписа- 
тися в структуру цієї моделі. На рис. І можна побачити потужність об'єктів, якими 
ми оперуємо. 

Кожне змістовне висловлювання задамо в канонічній формі, що записана певною 
семантичною мовою (формальною математичною мовою, що виражає поняття та 
відношення між ними). Далі за допомогою генератора семантично еквівалентних 
речень (ГСЕР) задамо перетворення канонічної форми, що не порушує зміст вислов- 
лювання. Таким чином ГСЕР породжує всі можливі речення з однаковим змістом, 
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що визначаються канонічною формою. Далі вводимо перетворення, що породжують 
всі можливі еталонні сигнали злитого мовлення для кожного речення, згенерованого 
ГСЕР. Ці еталонні сигнали відрізняються один від одного темпом, що нелінійно 
змінюється, та інтенсивністю вимовляння. 


Мовленнєвий сигнал, 
що поданий для розпізнавання 


відповідь 


розпізнавання 
та інтерпретації 


Множина змістовних Множина речень, Множина еталонних 
висловлювань, що мають однаковий | СИГНаліВ злитого мовлення 
що передаються зміст для одного речення 
(типів смислів) 
Рисунок 1 - Модель синтезу еталонних сигналів злитого мовлення 


для змістовної інтерпретації 


Автоматичне розуміння (змістовна інтерпретація) пред'явленого мовленнєвого 
сигналу за допомогою пропонованої генеративної моделі буде полягати в тому, щоб 
спочатку для сигналу, що аналізується, знайти найбільш правдоподібний еталонний 
сигнал мови серед всіх сигналів, що породжені генеративною моделлю, а потім ви- 
значити канонічну форму того змістовного висловлювання, речення якого відповідає 
найбільш правдоподібному еталонному сигналу. 

Покладається, що задачі розпізнавання та змістовної інтерпретації злитого мовлення 
повинні розв'язуватися в єдиному взаємопов'язаному процесі, в якому досягається 
найвища надійність як розпізнавання, так 1 інтерпретації змісту. 

Далі буде розглянуто способи задання всіх можливих речень мови діалогу, що 
виражають один 1 той самий зміст, генерації та пошуку найбільш правдоподібних 
сигналів та розроблення обмежень на допустимі послідовності слів згідно зі структу- 
рами, якими можна представити речення. 


2. Моделювання обмежень на допустимі 
послідовності слів 


В рамках генеративної моделі для розпізнавання мовленнєвих сигналів запро- 
поновано розглянути певну ієрархію розташування речень. Мається на увазі, що всі 
мислимі речення мови діалогу розіб'ємо на предметні області (ПО) по типу розмовника 
для іноземних мов. Кожна предметна область складається із скінченої множини 
типів змістів (13). Наприклад, стосовно предметної області щодо відвідання ресторану 
типи змістів виражаються питаннями про бронювання столика, меню, замовлення 
тощо. Кожній предметній області відповідає скінчена множина типів змістів. В кожен 
тип змісту входить множина еквівалентно змістовних типів речень (ТР), які описуються 
ІЛЯР-структурами (11, 141. Тип речення - це конструкція, що економно задає множину 
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речень, отриманих з одного речення незалежними допустимою заміною та допусти- 
мою перестановкою слів та словосполучень. 

Розглянемо приклад ТР для ПО «Повсякденні фрази», що стосується прохання 
про допомогу у вирішенні проблеми (13 - прохання про допомогу). 


Чи не Ви || мені | У вирішити 
х Й допоможете зам Па (цю проблему) 


розв'язати 


В дужках () вказані підсловники, які можна переставляти місцями, а в || - які 
не можна переставляти. Переставляти підсловники можна лише всередині старших 
дужок. Символ " означає порожнє слово. 

Неважко переконатися, що наведений тип речення задає 2:41.2:4-2:1-768 різних 
речень, допустимих в мові діалогу та таких, що виражають один і той самий зміст 
прохання про допомогу. Серед цих речень є, наприклад, і такі: 


Чи цю проблему не допоможете вирішити Ви мені. 
Чи Ви мені цю проблему вирішити не допоможете. 


Тобто ми бачимо, що в даний ТР включено багато синтаксично допустимих 
речень розмовної мови. Але враховуючи вільний порядок слів, серед цих речень будуть 
утворені речення, які не є типовими для розмовної мови. Тому, щоб відкинути нети- 
пові речення, було запропоновано ввести певні обмеження, які вказують порядок 
слідування слів. 

Всі речення мови діалогу можна задавати за допомогою ТЗ і відповідних їм ТР, 
використовуючи структуру, наведену у прикладі. За допомогою ШЯР-структур гене- 
рується величезна кількість речень, що мають один і той самий зміст. Оскільки 
побудова ІІ5Р-структур є досить громіздкою, потребує багато ручної роботи, то 
було розроблено автоматизований специфікатор предметних областей. 

Для побудови всіх можливих речень мови усного діалогу будемо використову- 
вати так звану орієнтовану семантичну мережу (ОСМ) (11, 21. Приклад такої мережі 
для розглянутого у прикладі типу речення наведено на рис. 2. 

Поєднуючи ОСМ типів речень та ОСМ типів змістів, отримаємо ОСМ всієї пред- 
метної області. Ця мережа одночасно задає обмежену граматику порядку слідування 
слів, яку використовуємо при розпізнаванні. 

Альтернативною до цієї граматики є граматика вільного порядку слідування слів. 
Між цими протилежними за суттю граматиками може бути побудовано безліч інших 
відносно вільних або відносно обмежених граматик. Ми пропонуємо дещо обмежити 
вільну граматику за рахунок лінгвістичного поняття про фонетичне слово. 

Під фонетичним словом розуміємо слово з невіддільними від нього супутніми 
словами. Наприклад, невіддільними є прийменник від іменника або прикметника, 
частка «не» спереду дієслова 1 частка «б» позаду нього. 

Щоб формалізувати цю граматику, ми розглядаємо лінгвістичні поняття енклі- 
тиків 1 проклітиків. У групу проклітиків увійшли прийменники (у, в, до, на та інші), 
сполучники та більшість часток (І, а, де, не тощо), а до енклітиків - частки: ж, же, б, 
би. Ми також вважаємо за доцільне виділити прийменники з-поміж проклітиків. 
Остаточно пропонована нами відносно вільна граматика матиме такий вигляд: 


(рай «Проклітик) | прийменник | проклітик| нейтральне |енклітик|? раш), 
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де вміст кутових дужок може повторюватися, а вміст квадратних дужок може бути 
опущений, рай - слово-пауза на початку та в кінці фрази. 


допоможете 


вирішити їі 
розв'язати цю проблему м 
допоможете д 
допоможете -5Ю; 
і бен 
цю проблему О 


не 
й 
вирішити р 
И вирішити 
аз! ГУ 
М 
не 
й 


О 


Х 


цю проблему 7| 


учу 


- 
4 


Ви 


з 


вирішити 
озв'язати 
р В допоможете 


2 9 
вирішити 
розв'язати 


Рисунок 2 - Структура ОСМ для речення, наведеного в прикладі прохання 
про допомогу у вирішенні проблеми 


Втім, за такої граматики прийняття рішення щодо смислу речення не є очевид- 
ним. Це будемо розглядати в наступному розділі. 


3. Оцінювання належності послідовності слів 
до типу речень 


При розпізнаванні в умовах граматики, що не задає строгих обмежень на послі- 
довності слів, очевидно можуть бути отримані відповіді розпізнавання, що не входять 
у множину речень, які згенеровані певним типом речень 57. Це може бути зумовлено 
як помилками при розпізнаванні, так і при формуванні типів речень експертом. Крім 
того, сам користувач може вимовити речення з різного роду відхиленнями або агра- 
матизмами, наприклад повторити деяке слово двічі. 

Тому пропонується оцінювати ймовірність типу речення 517 з ОСМ за умови 
розпізнаної послідовності слів та оголошувати відповіддю інтерпретації той тип 
речень 57", для якого ця ймовірність є найбільшою: 

5" - аготах Р(8Т / муру) И) 
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Імовірність у лівій частині (1) може бути переписана за формулою Байєса в 
такому вигляді: 


Р(5Т / ул Ми» у УМ, С, 


М Ру МУ» уз УУ, / 5Т). 2 
РИМ з МИ» но УМ, ) ом ) 0) 


Якщо припустити рівноїмовірність всіх типів речень та рівноїмовірність спо- 
стережуваних послідовностей слів, то (2) можна переписати в такій еквівалентній 


формі: 
Р(5Т / мл, М» уннз УМ, 2 РИМ МУ» умо УМ, / ОТ). (3) 
У свою чергу, 
Р( ум, М уз УР, /9Т) 2 Р(и / 5Т) Р( м» / 5Т мм ) Р( м / ЗТ, ми, Ум» )Х.... 


«ХР(уг | / ЗТ мо Уа зн) ХОРОМ, / УТ М, М» ноз МУ, ПРИМ, 5, МА з М» нн МУ, ) 


(4) 


Розглядаючи послідовність (и, 5 Моз уу, ) як марківський процес, подаємо кож- 
ний із множників у правій частині (4) у вигляді: 


Ру, / ЗТ, м поь)» | КІМ, (5) 


де т 2 0 - порядок процесу. 

Оцінювання кожного з множників виду (5) може виконуватися різними спосо- 
бами в залежності від порядку процесу. 

Розглянемо найпростіший випадок, коли т - 0. Тоді наша задача зводиться до 
оцінювання імовірності спостереження кожного з розпізнаваних слів у/ за умови типу 
речень 57: Р(и// 5Т). За формулою Байєса цю імовірність представляємо у вигляді: 


Р(уг) 
Р(8Т) 


Р(и/ ЗТ) - Р(5Т / ур). (6) 

Як 1 при аналізі (2), робимо припущення щодо рівноїмовірності всіх типів речень, 
тобто знаменник у цій формулі можемо опустити. За певної умовності рівноїмо- 
вірними можемо вважати всі слова. Залишається обчислити Р(5Т / у"). Для цього 


розглянемо 57(уг) - множину типів речень, в яких зустрічається слово м/. Тоді 


0, якщо 57 (и/) - 9, 
Р(5Т/ м) з і б іншому випадку. с? 
ЗТ (о) 


Таким чином, пропонується приймати рішення щодо приналежності розпізна- 
ної послідовності слів певному типу речень на основі (1) - (7). Для апробації цього 
способу було проведено серію експериментальних досліджень. 


4. Експериментальні результати 


В якості експериментальних даних було розглянуто англійсько-український розмов- 
ник. Розмовник складається з 33800 речень, які назвемо базовими фразами. Ці фрази 
розділені на 15 предметних областей, кожна з яких має свої типи змістів та типи 
речень. Для прикладу було розглянуто одну з 15 ПО, а саме «Повсякденні фрази». 
Ця ПО містить 47 ТЗ та 201 базових речень, в середньому по 5 базових речень на тип 
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змісту. Щоб задати всю множину речень, яка породжується базовим реченням, кожне 

базове речення було розмічено відповідно до описаних ІЛЯР-структур. Таким чином, 

для кожного базового речення було побудовано тип речення у вигляді ПУР-структури. 
Так, наприклад, для типу змісту прохання про допомогу побудовані такі ТР: 


((будь ласка | З) (допоможіть) (мені | 5) ((вирішити | розв'язати) (цю проблему))) 
((будь ласка | 9) (допоможіть) (мені | 7) (у |цій | "/ (справі))) 

(не могли б) (Ви мені) (допомогти) ((вирішити | розв язати) (цю проблему))) 
Ічи | М (Пне | | /допоможете|) (Ви мені) (вирішити | розв'язати) (цю проблему)) 


((мені | З) (потрібна) (|Ваша | "| (допомога)) (у |цій | "Ї (справі))) 
((у цьому питанні) (мені | 7) ((буде | 7) (потрібна)) (Г Ваша | "| (допомога))) 


У наведеному прикладі підсловники містять здебільшого по одному слову, але 
загалом потужність окремо взятого підсловника може бути більшою в залежності від 
кількості синонімів. 

Було розроблено програмне забезпечення, яке з одного заданого таким чином 
ТР дає змогу будувати множину всіх речень шляхом відповідних перестановок чи за- 
міни слів та словосполучень. В результаті застосування цієї програми до згаданих вище 
201 ТР, було отримано 1045 фраз, не враховуючи змінні параметри. Якщо врахувати 
змінні, то фраз буде 4337. У словнику нараховується 290 слів. 


Для ТР, взятого з наведеного прикладу, - (|чи | "| ((|не | 7) (допоможете!) (Ви 
мені) (вирішити | розв'язати) (цю проблему))) - було згенеровано 24 фрази, без ура- 
хування змінних, серед них: 


фр289 - 5м11 524 допоможете цю проблему 5м/19 Ви мені; 
фр295 - 511 цю проблему 524 допоможете 5у/19 Ви мені; 
5р297 - 511 цю проблему 5м/19 5у/24 допоможете Ви мені ; 
5р301 - 5м11 519 5у/24 допоможете цю проблему Ви мені ; 
5р304 - 511 5у/19 цю проблему Ви мені 5у/24 допоможете ; 
5р307 - 5м11 Ви мені 5у/24 допоможете цю проблему Зу/19 ; та інші. 


Тут змінними параметрами є 5м/11-(чи | 7); 519 - (вирішити | розв'язати); 
фу/24 - (не | З). Враховуючи, що кожна змінна може приймати 2 значення, кожна фраза 
буде мати 8 варіантів. Отже, для даного ТР отримаємо 8.24 - 192 фрази, з урахуван- 
ням змінних. 

Розпізнавання фраз (речень) проводилося на основі пофонемного розпізнавача 
за умов обмеженої (на основі ІЛЯР-структур), вільної та відносно вільної (на основі 
фонетичних слів) послівних граматик. 

Для експерименту довільним чином було вибрано 100 фраз серед згенерованих 
4337, до яких було застосовано алгоритми пофонемного розпізнавання мовленнєвих 
сигналів в умовах обмеженої та вільної граматик відносно слів | 1, |5|. На відміну від 
попередніх експериментів |4| при оцінюванні акустичних параметрів фонем використо- 
вувався корпус кооперативу дикторів. Прийняття рішень щодо смислової інтерпретації 
здійснювалося на основі (1) - (7). Результати експериментів наводяться в табл. І. 

За умов обмеженої граматики час розпізнавання в 15 раз перевищував реальний 
час, за умов вільної граматики розпізнавання відбувалося швидше реального часу, а 
на відносно вільній граматиці - в 1,5 повільніше за реальний час. 
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Таблиця 1 - Результати розпізнавання та смислової інтерпретації ста речень 
з предметної області «Повсякденні фрази» 


т Результати розпізнавання 
п слів речень типів 
граматики : 
Со | У Асс Н р 5 ГоСоп| Н 5 змісту 
Обмежена | 98,87 | 9842 | 639 | 5 | 0 95 | 95 | 0 98 
Вільна 49,53 | 45,65 | 319 | 193 |132| 0 0 | 100 85 
посліВНАа 
найнесно 78,88 | 74,69 | 508 | 14 |122| 20 | 20 | 80 96 
віІіЛЬНА 


з : Н 
Коректність розпізнавання обчислювалася за формулою зебонего з 10015 а 


ан Н-І 
надійність: Уо Ассигасу - о 1009), де: 


Н - кількість правильно розпізнаних слів/речень, 

ДО - кількість слів/речень, що випали, 

5 -- кількість слів/речень, замінених на інше, порівняно з вимовленим, 
І- кількість вставлених слів/речень, яких не мало б бути, 

М -- загальна кількість вимовлених слів/речень. 


На основі цих результатів було розроблено демонстраційне програмне за без- 
печення для перекладу фрази, вимовленої українською мовою, на англійську мову. 
При цьому слідування слів в українській фразі може бути будь-яким із допустимих. 
Фразі, вимовленій українською мовою, ставиться у відповідність англомовний тип змісту 
або речення, а перше речення цього типу змісту оголошується результатом перекладу. 


Висновки 


В роботі були розглянуті питання смислової інтерпретації усномовного сигналу з 
урахуванням специфіки слов'янських мов: відносно вільний порядок слідування слів 
і їх змінюваність. 

Опрацьовано спосіб задання множини допустимих речень, що відповідають одному 
і тому ж змістові, шляхом побудови типів речень (ТР) засобами ІЛЗР-структур. 
Розроблено програмні засоби побудови граматик слідування слів для розпізнавання зли- 
того мовлення як на основі ТР, так і на основі лінгвістичного поняття про фонетичне 
слово. 

Запропоновано більш гнучкий імовірнісний спосіб формування відповіді смисло- 
вої інтерпретації, що грунтується на припущенні, що спостережувані послідовності 
слів є марківським процесом. 

Експериментальні дослідження показали, що імовірнісний підхід при смисло- 
вій інтерпретації показує досить високі результати для обмеженої та відносно вільної 
граматик слідування слів. 

На основі експериментальної моделі розроблено програмну модель усного слов- 
ника-перекладача для перекладу з української мови на англійську в межах пред- 
метної області. 
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При генеруванні речень за ЦШІЯР-структурами отримуються в тому числі і ре- 
чення, які є менш типовими у мовленні. На майбутнє це слід дослідити. Корисним 
вбачається розроблення алгоритму повністю автоматичної побудови ТР за заданими 
реченнями. 

Одні і ті ж самі фрази з різною інтонацією можуть виражати як питальне речення, 
так і розповідне. Отже, в подальшій роботі слід дослідити можливість розпізнавання 
інтонації (просодики) з метою автоматичного розставляння розділових знаків у роз- 
пізнаних фразах. 

Надалі також планується ставити у відповідність україномовній фразі більш точ- 
ний англомовний відповідник серед типів речень з типу смислу. 
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В.В. Яценко, Н.М. Сажок 

Распознавание и смьгсловая интерпретация слитной украийнской речи для устного 
фразника-переводчика в условиях альтернативньїх грамматик 

В статье рассматриваются проблемь создания систем смьтловой интерпретации речевого сигнала в 
рамках предметньгх областей. Описьтваются базовьте структурьі, по которьтм генерируются зквивалентньте 
предложения, которье передают определенньй смьюсл. Рассматриваются три способа построения 
порождающих грамматик для распознавания слитной украйнской речи: на основе ІЛЗР-структур, свободньтй 
порядок следования слов и грамматика, основанная на лингвистическом понятий о фонетическом слове. 
Предложен вероятностньй способ формирования ответа смьтсловой интерпретации. Приводятся результатьт 
зкспериментальньтїх исследований смьтловой интерпретации произнесенньх диктором предложений, 
взятьх из тематической области фразника-переводчика. 


Стаття надійшла до редакції 23.07.2008. 
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